Phạm Kiệt tham gia Việt Nam Thanh niên Cách mạng Đồng chí Hội từ năm 1929. Tháng 6 năm 1931, bị thực dân Pháp bắt, kết án tù chung thân, đày đi Buôn Ma Thuật. Năm 1943, được trả tự do.

Ông đã lãnh đạo, xây dựng và là đội trưởng đầu tiên đội du kích Ba Tơ; tham gia lãnh đạo khởi nghĩa Ba Tơ (ngày 11 tháng 3 năm 1945) [2]. Tháng 8 năm 1945, ông là Ủy viên Ủy ban Khởi nghĩa và lãnh đạo giành chính quyền ở tỉnh Quảng Ngãi.

• Năm 1946, ông là đại đoàn trưởng đại đoàn 31 thuộc khu 5.
• Năm 1953 đến năm 1960, ông là Cục phó, rồi Cục trưởng Cục bảo vệ thuộc Tổng cục Chính trị, Bộ Công an Việt Nam.
• Năm 1954, trong chiến dịch Điện Biên Phủ, cùng với nhiệm vụ phụ trách công tác bảo vệ, ông đã được Đại tướng Võ Nguyên Giáp cử đi kiểm tra công tác chuẩn bị chiến trường ở phía Đông Bắc. Ông đã đến tận nơi, kiểm tra trận địa pháo binh, phát hiện sự nguy hiểm bố trí pháo binh dã chiến tại một địa bàn tương đối bằng phẳng. Ông đã đề nghị Đại tướng Tổng tư lệnh Võ Nguyên Giáp thay đổi phương châm tác chiến từ "đánh nhanh thắng nhanh" sang "đánh chắc tiến chắc". Quan điểm không "đánh nhanh thắng nhanh, vì đánh nhanh tất sẽ…thua, mà đánh chắc tiến chắc, đánh như thế mới có thể thắng" mà Đại tướng Võ Nguyên Giáp đang nung nấu trong lòng, nhận được sự đóng góp qua điện thoại của tướng Phạm Kiệt, đã được Đại tướng hết sức tâm đắc và đã quyết định thay đổi cách đánh Tập đoàn cứ điểm Điện Biên Phủ mang lại chiến thắng lịch sử cho dân tộc ta.[3]
• Năm 1961, ông là Tư lệnh kiêm Chính ủy, Bí thư Đảng ủy Lực lượng Công an nhân dân vũ trang, hàm Thiếu tướng. Năm 1971, ông là Ủy viên Đoàn Chủ tịch Ủy ban Trung ương Mặt trận Tổ quốc Việt Nam. Năm 1974, ông là Trung tướng, Tư lệnh kiêm Chính ủy Lực lượng Công an vũ trang.

Năm (1961-1975) Tư lệnh kiêm Chính ủy Công an nhân dân vũ trang, Trung tướng, Thứ trưởng Bộ công an.[2]